期刊
  出版年
  关键词
结果中检索 Open Search
Please wait a minute...
选择: 显示/隐藏图片
1. 异构平台下卷积神经网络推理模型自适应划分和调度方法
尚绍法, 蒋林, 李远成, 朱筠
《计算机应用》唯一官方网站    2023, 43 (9): 2828-2835.   DOI: 10.11772/j.issn.1001-9081.2022081177
摘要307)   HTML9)    PDF (3025KB)(127)    收藏

针对卷积神经网络(CNN)在异构平台执行推理时存在硬件资源利用率低、延迟高等问题,提出一种CNN推理模型自适应划分和调度方法。首先,通过遍历计算图提取CNN的关键算子完成模型的自适应划分,增强调度策略灵活性;然后,基于性能实测与关键路径-贪婪搜索算法,在CPU-GPU异构平台上根据子模型运行特征选取最优运行负载,提高子模型推理速度;最后利用张量虚拟机(TVM)中跨设备调度机制,配置子模型的依赖关系与运行负载,实现模型推理的自适应调度,降低设备间通信延迟。实验结果表明,与TVM算子优化方法在GPU和CPU上的推理速度相比,所提方法在模型推理准确度无损前提下,推理速度提升了5.88%~19.05%和45.45%~311.46%。

图表 | 参考文献 | 相关文章 | 多维度评价
2. 基于图形重写和融合探索的张量虚拟机算符融合优化
王娜 蒋林 李远成 朱筠
《计算机应用》唯一官方网站    DOI: 10.11772/j.issn.1001-9081.2023091252
预出版日期: 2024-03-15